Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
注入还是导航？交易法律文档LLM分析的令牌高效检索
🧭 RAG检索策略比较与效率优化
Syntheia Pty Ltd
比较全量注入、嵌入检索与LLM导航索引，证明检索可大幅降低token消耗且质量不降
📌 工作参考价值（4 点）
- 结构感知分块（structure-aware chunking）：对电商中的长文档（商品说明书、合同、政策）进行结构分块，避免全文注入，大幅降低推理成本，可迁移到产品FAQ或合规文档问答。
- 嵌入检索+重排序管道：嵌入检索（NAVEMBED）配合重排序能在长文档QA中达到与全量注入几乎相当的质量，同时输入token减少17⁻30倍，适合构建低延迟、低成本的商品知识库检索。
- 紧凑结构化索引与LLM导航：对于成本敏感的Query改写或推荐解释生成，借用LLM导航结构化索引（NAVINDEX）的思路，用极轻量的索引替代大段文本，使回答上下文减少约56倍，成本降低25%。
- 缓存交叉规则：论文导出的封闭解可用于决策何时缓存全量文档更划算，可借鉴到广告素材库或推荐理由生成等有固定语料的场景，指导缓存策略以优化总成本。